|
|
Optimalizace spouštěcích konfigurací k-Wave úloh
Sasák, Tomáš ; Jaroš, Marta (oponent) ; Jaroš, Jiří (vedoucí práce)
Táto práca sa zaoberá plánovaním, resp. správnym odhadom spúšťacích konfigurácií úloh k-Wave na superpočítačoch infraštruktúry IT4Innovations. Presnejšie pre klastre Salomon a Anselm. Úloha predstavuje množinu simulácií, kde každá simulácia je spúšťaná pod toolboxom k-Wave. Pre spustenie jednotlivých simulácií je nutné správne vytvoriť konfiguráciu, ktorá sa skladá z množstva zdrojov (počet výpočtových uzlov, resp. jadier) a času rezervácie superpočítača, čo je pre neskúseného zložité odhadnúť. Zvolený problém odhadu je riešený na základe empirických dát, ktoré boli získané viacnásobným spúšťaním rôznych množín simulácií na klastroch. Tieto dáta sú uložené a spracované aproximátormi, ktoré konkrétne vykonávajú odhad týchto parametrov na základe metód interpolácie a regresie. V práci je popísaný a bol implementovaný systém predstavujúci plánovač, ktorý predstavuje rozhranie pre odhad. Experimentovaním bolo zistené že pre tento špecifický problém najpresnejšie odhady vykonáva trojica Akima spline, PCHIP interpolácia a kubický spline. Výsledky tejto práce umožňujú vykonávať istý odhad exekučného času a počtu vlákien pre ľubovolné simulácie automaticky a bez znalosti kódu k-Wave.
|
|
|
Optimalizace distribuovaného I/O subsystému projektu k-Wave
Vysocký, Ondřej ; Klepárník, Petr (oponent) ; Jaroš, Jiří (vedoucí práce)
Práce se zabývá řešením efektivního paralelního zápisu a čtení dat pro nástroj k-Wave, provádějící simulací šíření ultrazvuku. Tento nástroj je superpočítačovou aplikací, proto je spouštěn na souborovém systému Lustre a vyžaduje paralelní zpracování pomocí MPI a zápis ve formátu vhodném pro velké množství dat (HDF5). V rámci této práce byly navrženy metody efektivního způsobu zápisu dat dle potřeb k-Wave, pomocí kumulace dat a přerozdělování. Všechny metody zrychlily nativní zápis a vedly až k rychlosti zápisu 13,6GB/s. Popsané metody jsou použitelné pro všechny aplikace s distribuovanými daty a častým zápisem.
|
|
|
Implementace 2D ultrazvukových simulací
Šimek, Dominik ; Vaverka, Filip (oponent) ; Jaroš, Jiří (vedoucí práce)
Práca sa zaoberá návrhom a implementáciou 2D simulácie ultrazvukových vĺn. Simulácia ultrazvuku nachádza svoje uplatnenie v medicíne, biofyzike či rekonštrukcii obrazu. Ako príklad môžme uviesť použitie fokusovaného ultrazvuku na diagnostiku a liečbu rakoviny. Program je súčasťou simulačného balíka k-Wave určeného pre superpočítačové systémy, konkrétne stroje s architektúrou zdieľaného adresového priestoru. Program je implementovaný v jazyku C++ s využitím akcelerácie pomocou OpenMP. Pomocou implementovaného riešenia je možné riešiť simulácie veľkých rozmerov v 2D priestore. Práca sa ďalej zaoberá zjednotením kódu 2D a 3D simulácie pomocou moderných prostriedkov C++. Reálnym príkladom využitia je simulácia ultrazvuku pri transkraniálnej neuromodulácii a neurostimulácii, ktorá prebieha v doménach o veľkosti 16384x16384 (a viac) bodov mriežky. Simulácia takýchto rozmerov môže pri použití pôvodnej MATLAB 2D k-Wave trvať niekoľko dní. Implementované riešenie dosahuje voči MATLAB 2D k-Wave 7 až 8 násobné zrýchlenie na superpočítačoch Anselm a Salomon.
|
|
|
Realizace superpočítače pomocí grafické karty
Jasovský, Filip ; Karásek, Jan (oponent) ; Mašek, Jan (vedoucí práce)
Tato diplomová práce se zabývá realizací superpočítače pomocí grafické karty s použitím technologie CUDA. Teoretická část práce popisuje funkci a možnosti grafických karet a běžných ústrojí stolních počítačů a dějů probíhajících při procesu výpočtů na nich. Praktická část se zabývá vytvořením programu pro výpočty na grafické kartě za použití algoritmu umělé inteligence a to konkrétně umělých neuronových sítí. Následně je vytvořený program použit pro klasifikaci dat z objemného vstupního datového souboru.Na závěr jsou porovnány dosažené výsledky.
|
|
| |
|
|
Systém pro automatizovanou obsluhu superpočítače
Strečanský, Peter ; Hrbáček, Radek (oponent) ; Jaroš, Jiří (vedoucí práce)
Cieľom tejto práce je rozšíriť existujúci program FabSim o modul, ktorý umožní automatizovanú obsluhu superpočítačov, predovšetkým prácu s plánovačom OpenPBS. Modul bol vytvorený v programovacom jazyku Python za použitia balíčka Fabric. Skripty, ktoré sa pomocou OpenPBS spúšťajú, sú uložené vo forme predlôh a pred samotným prenosom na cluster a spustením sa dynamicky upravia na základe preferencií užívateľa. Vytvorené riešenie tak poskytuje komplexnú sadu metód, ktoré umožňujú plnohodnotnú obsluhu superpočítačov, integráciu s Gitom a spravovanie dát nachádzajúcich sa na superpočítačoch. Hlavným prínosom tejto práce je jednoduchšie riadenie a úspora času spojená s obsluhou superpočítačov.
|
|
|
Škálovatelné předzpracování dat prostřednictvím nástroje Hadoop
Marinič, Michal ; Šmirg, Ondřej (oponent) ; Burget, Radim (vedoucí práce)
Tato práce se zabývá škálovatelným předzpracováním dat prostřednictvím nástroje Hadoop, který slouží pro paralelní zpracování velkého objemu dat. V první teoretické části se práce zaměřuje na vysvětlení fungování struktury základních funkčních prvků distribuovaného souborového systému HDFS a metody MapReduce pro paralelní zpracování. Praktická část práce popisuje realizaci Hadoop clusteru v pseudo-režimu pro jednoduché ladění aplikací a také realizaci v plně distribuovaném režimu pro simulaci nasazení v reálné praxi.
|
|
|
Paralelizace ultrazvukových simulací s využitím lokální Fourierovy dekompozice
Dohnal, Matěj ; Hrbáček, Radek (oponent) ; Jaroš, Jiří (vedoucí práce)
Tato práce přináší návrh nové metody pro distribuovaný výpočet 3D Fourierovy transformace s využitím lokální 3D dekompozice domény, popis její implementace a srovnání s dosud běžně používanou metodou globální 1D dekompozice domény. Nová metoda byla navržena, implementována a testována především pro budoucí použití v simulačním programu k-Wave, ale nic nebrání jejímu použití v jiných aplikacích. Implementace prokázala svoji efektivitu na superpočítači Anselm při testování na až 2048 jádrech, kde je až 3krát rychlejší než globální 1D dekompozice za cenu nepřesnosti výpočtu v řádu 10-5, neboť se podařilo významně snížit režii výpočtu v podobě komunikace mezi procesy. Na konci práce je diskutováno, jak lze s metodou výpočtu Fourierovy transformace využívající lokální dekompozici domén dosáhnout co nejlepších výsledků z hlediska přesnosti i rychlosti výpočtu, zároveň jsou zmíněny i její limity.
|
|
|
Paralelizace ultrazvukových simulací pomocí 2D dekompozice
Nikl, Vojtěch ; Dvořák, Václav (oponent) ; Jaroš, Jiří (vedoucí práce)
Tato práce je součástí projektu k-Wave, což je simulační nástroj akustické tomografie sloužící k simulaci a rekonstrukci akustických vlnových polí a jeho hlavním přínosem je plánování ultrazvukových operací lidské tkáně, např. nádoru na mozku. Dopředné simulace jsou založeny na řešení k-prostorové pseudospektrální časové domény. Simulace jsou časově a výpočetně velice náročné. Simulace probíhají na 3D maticích, které reprezentují určité vlastnosti reálné tkáně, např. hustotu absorbce nebo rychlost šíření zvuku. K výpočtu gradientu se používá Rychlá Fourierova transformace (dále jen FFT), jejíž výpočet zabere zhruba 60% simulačního času. 3D FFT byla do této doby počítána pomocí softwarové knihovny FFTW, která interně využívá 1D dekompozici, tj. dekompozici podél jedné osy. Hlavní nevýhoda 1D dekompozice je relativně malý maximální počet výpočetních jader, přes které lze paralelizovat výpočet. Matice mají velikost řádově 1024x2048x3072, tím pádem lze efektivně paralelizovat přes maximálně 1024 jader. Dnešní superpočítače umožnují využít až stovky tisíc jader a tomu bychom se rádi přiblížili. Řešením je využití 2D dekompozice, která by teoretický maximální počet jader posunula až do řádu milionů. Její efektivní implementací se zabývá právě tato práce. 2D dekompozice je obecně paralelizována pouze pomocí MPI procesů, např. v~knihovnách PFFT nebo P3DFFT, v této práci ale využíváme pokročilejší kombinace MPI procesů a OpenMP vláken, kterou jsme nazvali hybridní 2D dekompozice (HybridFFT). Má tři hlavní části: výpočet 1D FFTs, lokální transpozice dat a globální transpozice dat. Pro výpočet sérií 1D FFT je využita knihovna FFTW.Lokální transpozice jsou implementovány pomocí blokové transpozice 2D matice, která je vektorizována pomocí SSE/AVX instrukcí. Jak 1D FFT, tak lokální lokální transpozice, jsou akcelerovány pomocí OpenMP vláken. Globální transpozice je opět implementována prostřednictvím knihovny FFTW, která při použití pokročilého plánování dokáže výrazně snížit dobu potřebnou pro její realizaci. Hlavním cílem této práce je tedy dosáhnout maximálního možného zrychlení a škálovatelnosti oproti předchozímu řešení, zároveň ale i zachovat kompatibilitu a přenositelnost. Hybridní transformace pracuje nejlépe, pokud na jednom socketu spustíme jeden MPI proces a v rámci tohoto socketu využijeme tolik vláken, kolik máme k dispozici jader. Díky tomu nemusí jádra v rámci jednoho socketu komunikovat přes MPI zprávy, ale využívají rychlejší sdílenou paměť, a zároveň je MPI komunikace efektivnější, protože máme pouze jeden MPI proces na socket a tím pádem jsou MPI zprávy vetší a je jich méně, což vede k menšímu zahlcení propojovací sítě a lepší efektivitě komunikace. Řešení bylo testováno na superpočítačích Anselm (Ostrava), Zapat (Brno) a Supernova (Wroclaw). Pro nižší počty jader, v řádu několika set, je výkon přibližně stejný nebo o pár procent lepší, než původně použitá 1D dekompozice FFTW knihovny nebo knihony PFFT a P3DFFT. Jeden z velmi dobrých výsledků je např. 512^3 FFT na 512 jádrech, kde hybridní dekompozice dosáhla času 31 ms, zatímco FFTW 39 ms a PFFT 44ms. Na stroji Anselm jsme spustili výpočet až na 2048 jádrech a škálovatelnost byla stále lineární. Nejlepší nárust výkonu oproti ostatním knihovnám by se měl projevit při počtu zhruba 8-16 tisíc jader pro kostky velikosti 1024^3, protože v této konfiguraci bude mít jeden MPI proces na starosti jednu desku matice a zároveň budou MPI zprávy dostatečně velké a v takovém počtu, že by se měla projevit lepší efektivita komunikace oproti ostatním knihovnám.
|
|
|
Odhad doby běhu algoritmu pomocí strojového učení
Buchta, Martin ; Chlebík, Jakub (oponent) ; Jaroš, Jiří (vedoucí práce)
Cílem této práce je vytvořit model pro odhad doby běhu ultrazvukové simulace k-Wave na základě dané velikosti domény. Program využívá MPI a může být spuštěn na více uzlech superpočítače. Predikční modely byly vytvořeny s využitím symbolické regrese a následně porovnány s modely založenými na neuronových sítích. Tyto modely byly natrénovány na zaznamenaných datech. Výsledky ukazují, že modely překonávají stávající řešení. Model se symbolickou regresí dosáhl průměrné relativní odchylky 5,64% u vhodných úloh. Model neuronové sítě dosáhl průměrné relativní odchylky 8,25% na neznámých doménách včetně těch, které nejsou optimalizované pro simulaci k-Wave. Tato práce přináší nový, přesnější model pro předpovídání doby běhu a porovnává chybovost neuronových sítí a symbolické regrese pro tento konkrétní typ regresní úlohy. Celkově tyto modely mají potenciál praktického využití při spouštění a plánování simulací k-Wave.
|
host ::
RSS.